语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

理解和解释训练有素的模型对许多机器学习目标至关重要，例如改善鲁棒性，解决概念漂移和减轻偏见。但是，这通常是一个临时过程，涉及手动查看许多测试样本上的模型的错误，并猜测这些错误的预测的根本原因。在本文中，我们提出了一种系统的方法，概念性的反事实解释（CCE），解释了为什么分类器在人类理解的概念方面在特定的测试样本上犯了一个错误（例如，此斑马被错误地分类为狗，因为因为是因为是因为是狗的。微弱的条纹）。我们基于两个先前的想法：反事实解释和概念激活向量，并在众所周知的预读模型上验证我们的方法，表明它有意义地解释了模型的错误。此外，对于接受具有虚假相关性数据的数据训练的新模型，CCE准确地将虚假相关性确定为单个错误分类测试样本中模型错误的原因。在两个具有挑战性的医学应用程序中，CCE产生了有用的见解，并由临床医生确认，涉及该模型在现实世界中犯的偏见和错误。

In order for machine learning to be trusted in many applications, it is critical to be able to reliably explain why the machine learning algorithm makes certain predictions. For this reason, a variety of methods have been developed recently to interpret neural network predictions by providing, for example, feature importance maps. For both scientific robustness and security reasons, it is important to know to what extent can the interpretations be altered by small systematic perturbations to the input data, which might be generated by adversaries or by measurement biases. In this paper, we demonstrate how to generate adversarial perturbations that produce perceptively indistinguishable inputs that are assigned the same predicted label, yet have very different interpretations. We systematically characterize the robustness of interpretations generated by several widely-used feature importance interpretation methods (feature importance maps, integrated gradients, and DeepLIFT) on ImageNet and CIFAR-10. In all cases, our experiments show that systematic perturbations can lead to dramatically different interpretations without changing the label. We extend these results to show that interpretations based on exemplars (e.g. influence functions) are similarly susceptible to adversarial attack. Our analysis of the geometry of the Hessian matrix gives insight on why robustness is a general challenge to current interpretation approaches.

We introduce a novel framework to track multiple objects in overhead camera videos for airport checkpoint security scenarios where targets correspond to passengers and their baggage items. We propose a Self-Supervised Learning (SSL) technique to provide the model information about instance segmentation uncertainty from overhead images. Our SSL approach improves object detection by employing a test-time data augmentation and a regression-based, rotation-invariant pseudo-label refinement technique. Our pseudo-label generation method provides multiple geometrically-transformed images as inputs to a Convolutional Neural Network (CNN), regresses the augmented detections generated by the network to reduce localization errors, and then clusters them using the mean-shift algorithm. The self-supervised detector model is used in a single-camera tracking algorithm to generate temporal identifiers for the targets. Our method also incorporates a multi-view trajectory association mechanism to maintain consistent temporal identifiers as passengers travel across camera views. An evaluation of detection, tracking, and association performances on videos obtained from multiple overhead cameras in a realistic airport checkpoint environment demonstrates the effectiveness of the proposed approach. Our results show that self-supervision improves object detection accuracy by up to $42\%$ without increasing the inference time of the model. Our multi-camera association method achieves up to $89\%$ multi-object tracking accuracy with an average computation time of less than $15$ ms.

Recent advances in deep learning have enabled us to address the curse of dimensionality (COD) by solving problems in higher dimensions. A subset of such approaches of addressing the COD has led us to solving high-dimensional PDEs. This has resulted in opening doors to solving a variety of real-world problems ranging from mathematical finance to stochastic control for industrial applications. Although feasible, these deep learning methods are still constrained by training time and memory. Tackling these shortcomings, Tensor Neural Networks (TNN) demonstrate that they can provide significant parameter savings while attaining the same accuracy as compared to the classical Dense Neural Network (DNN). In addition, we also show how TNN can be trained faster than DNN for the same accuracy. Besides TNN, we also introduce Tensor Network Initializer (TNN Init), a weight initialization scheme that leads to faster convergence with smaller variance for an equivalent parameter count as compared to a DNN. We benchmark TNN and TNN Init by applying them to solve the parabolic PDE associated with the Heston model, which is widely used in financial pricing theory.

小型模块化反应堆的概念改变了解决未来能源危机的前景。考虑到其较低的投资要求，模块化，设计简单性和增强的安全功能，这种新的反应堆技术非常有希望。人工智能驱动的多尺度建模（中子，热液压，燃料性能等）在小型模块化反应堆的研究中纳入了数字双胞胎和相关的不确定性。在这项工作中，进行了一项关于耐亡燃料的多尺度建模的全面研究。探索了这些燃料在轻水的小型模块化反应堆中的应用。本章还重点介绍了机器学习和人工智能在设计优化，控制和监视小型模块反应器中的应用。最后，简要评估了有关人工智能在高燃烧复合事故耐受燃料的发展中的研究差距。还讨论了实现这些差距的必要行动。

使用手动生成标签训练的卷积神经网络通常用于语义或实例分割。在精确的农业中，自动花探测方法使用监督模型和后处理技术，这些技术可能不会始终如一地表现为花朵的出现，并且数据采集条件有所不同。我们提出了一种自我监督的学习策略，以使用自动生成的伪标签来增强分割模型对不同花种物种的敏感性。我们采用数据增强和完善方法来提高模型预测的准确性。然后将增强的语义预测转换为全景伪标签，以迭代训练多任务模型。可以通过现有的后处理方法来完善自我监督的模型预测，以进一步提高其准确性。对多物种果树花数据集的评估表明，我们的方法的表现优于最先进的模型，而无需计算昂贵的后处理步骤，为花朵检测应用提供了新的基线。

滚动轴承是旋转机械的最关键组成部分。及时识别有缺陷的轴承可能会阻止整个机械系统的故障。由于机器零件的快速发展，机械状况监测场已进入大数据阶段。当使用大量数据时，手动特征提取方法的缺点是效率低下和不准确。近年来，诸如深度学习方法之类的数据驱动方法已成功用于机械智能故障检测。卷积神经网络（CNN）主要用于早期研究中，以检测和识别轴承断层。但是，CNN模型遭受了难以管理故障时间信息的缺点，这导致缺乏分类结果。在这项研究中，使用最先进的视觉变压器（VIT）对轴承缺陷进行了分类。使用Case Western Reserve University（CWRU）实验室实验数据对轴承缺陷进行了分类。该研究还考虑了除正常轴承条件外，在0负载情况下的13种不同类型的缺陷。使用短时傅立叶变换（STFT），将振动信号转换为2D时频图像。 2D时频图像用作VIT的输入参数。该模型的总体准确度为98.8％。

部分微分方程（PDE）用于对科学和工程中的各种动力系统进行建模。深度学习的最新进展使我们能够以新的方式解决维度的诅咒，从而在更高的维度中解决它们。但是，深度学习方法受到训练时间和记忆的约束。为了解决这些缺点，我们实施了张量神经网络（TNN），这是一种量子启发的神经网络体系结构，利用张量网络的想法来改进深度学习方法。我们证明，与经典密集神经网络（DNN）相比，TNN提供了明显的参数节省，同时获得了与经典密集的神经网络相同的准确性。此外，我们还展示了如何以相同的精度来比DNN更快地训练TNN。我们通过将它们应用于求解抛物线PDE，特别是Black-Scholes-Barenblatt方程，该方程广泛用于金融定价理论，基于基准测试。还讨论了进一步的例子，例如汉密尔顿 - 雅各比 - 贝尔曼方程。

在视频中，人类的行为是三维（3D）信号。这些视频研究了人类行为的时空知识。使用3D卷积神经网络（CNN）研究了有希望的能力。 3D CNN尚未在静止照片中为其建立良好的二维（2D）等效物获得高输出。董事会3D卷积记忆和时空融合面部训练难以防止3D CNN完成非凡的评估。在本文中，我们实施了混合深度学习体系结构，该体系结构结合了Stip和3D CNN功能，以有效地增强3D视频的性能。实施后，在每个时空融合圈中进行训练的较详细和更深的图表。训练模型在处理模型的复杂评估后进一步增强了结果。视频分类模型在此实现模型中使用。引入了使用深度学习的多媒体数据分类的智能3D网络协议，以进一步了解人类努力中的时空关联。在实施结果时，著名的数据集（即UCF101）评估了提出的混合技术的性能。结果击败了提出的混合技术，该混合动力技术基本上超过了最初的3D CNN。将结果与文献的最新框架进行比较，以识别UCF101的行动识别，准确度为95％。